神经科学研究表明，大脑编码视觉内容并将信息嵌入神经活动中。最近，深度学习技术通过将大脑活动映射到使用生成的对抗网络（GAN）来刺激来解决视觉重建的尝试。但是，这些研究都没有考虑图像空间中潜在代码的语义含义。省略语义信息可能会限制性能。在这项研究中，我们提出了一个新框架，以从功能磁共振成像（fMRI）数据中重建面部图像。使用此框架，首先将GAN倒置用于训练图像编码器以在图像空间中提取潜在代码，然后使用线性转换将其桥接到fMRI数据中。遵循从fMRI数据使用属性分类器确定的属性，确定操纵属性的方向，属性操纵器调整了潜在代码，以提高可见图像和重建图像之间的一致性。我们的实验结果表明，提出的框架实现了两个目标：（1）从fMRI数据中重建清晰的面部图像，以及（2）保持语义特征的一致性。
translated by 谷歌翻译
To apply federated learning to drug discovery we developed a novel platform in the context of European Innovative Medicines Initiative (IMI) project MELLODDY (grant n{\deg}831472), which was comprised of 10 pharmaceutical companies, academic research labs, large industrial companies and startups. The MELLODDY platform was the first industry-scale platform to enable the creation of a global federated model for drug discovery without sharing the confidential data sets of the individual partners. The federated model was trained on the platform by aggregating the gradients of all contributing partners in a cryptographic, secure way following each training iteration. The platform was deployed on an Amazon Web Services (AWS) multi-account architecture running Kubernetes clusters in private subnets. Organisationally, the roles of the different partners were codified as different rights and permissions on the platform and administrated in a decentralized way. The MELLODDY platform generated new scientific discoveries which are described in a companion paper.
translated by 谷歌翻译
成功的人工智能系统通常需要大量标记的数据来从文档图像中提取信息。在本文中，我们研究了改善人工智能系统在理解文档图像中的性能的问题，尤其是在培训数据受到限制的情况下。我们通过使用加强学习提出一种新颖的填充方法来解决问题。我们的方法将信息提取模型视为策略网络，并使用策略梯度培训来更新模型，以最大程度地提高补充传统跨凝结损失的综合奖励功能。我们使用标签和专家反馈在四个数据集上进行的实验表明，我们的填充机制始终提高最先进的信息提取器的性能，尤其是在小型培训数据制度中。
translated by 谷歌翻译
我们研究逆增强学习（IRL）和模仿学习（IM），这是从专家所证明的轨迹中恢复奖励或政策功能的问题。我们提出了一种新的方法来通过在最大的熵框架中添加权重功能来改善学习过程，并具有学习和恢复专家政策的随机性（或有限理性）的动机。我们的框架和算法允许学习奖励（或政策）功能以及添加到马尔可夫决策过程中的熵条款的结构，从而增强了学习过程。我们使用人类和模拟演示以及通过离散和连续的IRL/IM任务进行的数值实验表明，我们的方法表现优于先前的算法。
translated by 谷歌翻译
COVID-19大流行已经暴露了全球医疗服务的脆弱性，增加了开发新颖的工具来提供快速且具有成本效益的筛查和诊断的需求。临床报告表明，Covid-19感染可能导致心脏损伤，心电图（ECG）可以作为Covid-19的诊断生物标志物。这项研究旨在利用ECG信号自动检测COVID-19。我们提出了一种从ECG纸记录中提取ECG信号的新方法，然后将其送入一维卷积神经网络（1D-CNN）中，以学习和诊断疾病。为了评估数字信号的质量，标记了基于纸张的ECG图像中的R峰。之后，将从每个图像计算的RR间隔与相应数字化信号的RR间隔进行比较。 COVID-19 ECG图像数据集上的实验表明，提出的数字化方法能够正确捕获原始信号，平均绝对误差为28.11 ms。我们提出的1D-CNN模型在数字化的心电图信号上进行了训练，允许准确识别患有COVID-19和其他受试者的个体，分类精度为98.42％，95.63％和98.50％，用于分类COVID-19 vs.正常，与正常人分类， COVID-19与异常心跳和Covid-19和其他类别分别与其他阶级。此外，提出的方法还为多分类任务实现了高级的性能。我们的发现表明，经过数字化的心电图信号训练的深度学习系统可以作为诊断Covid-19的潜在工具。
translated by 谷歌翻译
心血管疾病（CVD）是一组心脏和血管疾病，是对人类健康最严重的危险之一，此类患者的数量仍在增长。早期，准确的检测在成功治疗和干预中起着关键作用。心电图（ECG）是识别各种心血管异常的金标准。在临床实践和当前大多数研究中，主要使用标准的12铅ECG。但是，使用较少的铅可以使ECG更加普遍，因为可以通过便携式或可穿戴设备来方便地记录它。在这项研究中，我们开发了一种新颖的深度学习系统，以仅使用三个ECG铅来准确识别多个心血管异常。
translated by 谷歌翻译
在本文中，我们研究了以自我为中心的场景理解的问题，即从以自我为中心的图像预测深度和表面正常状态。以自我为中心的场景的理解构成了前所未有的挑战：（1）由于头部运动较大，这些图像是从非规范观点（即倾斜图像）中拍摄的，其中现有的几何预测模型不适用； （2）包括手在内的动态前景对象构成了很大一部分的视觉场景。这些挑战限制了从大型室内数据集中学到的现有模型的性能，例如Scannet和Nyuv2，它们主要包括静态场景的直立图像。我们提出了一个多模式的空间整流器，该空间整流器将以自我为中心的图像稳定到一组参考方向上，该图像允许学习连贯的视觉表示。与通常产生过多的以自我为中心图像的透视图的单形空间整流器不同，多模式的空间整流器从多个方向学习，可以最大程度地减少透视图的影响。为了了解动态前景对象的视觉表示，我们提出了一个名为Edina的新数据集（每天的室内活动中以Egintric的深度），该数据集包含超过500K的同步RGBD框架和重力方向。配备了多模式空间整流器和EDINA数据集，我们提出的关于单视深度和表面正常估计的方法明显优于我们的EDINA数据集上的基准，而且在其他流行的EgeCentric数据集中，例如FPHA（FPHA）（FPHA） ）和史诗般的kitchens。
translated by 谷歌翻译
本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。
translated by 谷歌翻译
我们表明，没有图形特异性修改的标准变压器可以在理论和实践中都带来图形学习的有希望的结果。鉴于图，我们只是将所有节点和边缘视为独立的令牌，用令牌嵌入增强它们，然后将它们馈入变压器。有了适当的令牌嵌入选择，我们证明这种方法在理论上至少与不变的图形网络（2-ign）一样表达，由等效线性层组成，它已经比所有消息传播的图形神经网络（GNN）更具表现力）。当在大规模图数据集（PCQM4MV2）上接受训练时，与具有精致的图形特异性电感偏置相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，我们创造的令牌化图形变压器（Tokengt）取得了明显更好的结果。我们的实施可从https://github.com/jw9730/tokengt获得。
translated by 谷歌翻译
由熵正常化的马尔可夫决策过程（ER-MDP）产生的随机和软最佳政策是可取的探索和仿制学习应用程序的可取性。这种策略对国家过渡概率敏感的事实，并且这些概率的估计可能不准确，我们研究了ER-MDP模型的强大版本，其中随机最佳策略需要坚固尊重潜在的过渡概率中的歧义。我们的工作是加固学习（RL）的两个重要计划的十字路口，即强大的MDP和熵正则化MDP。我们表明，持有非强大的ER-MDP和强大的未反复化MDP型号的基本属性也在我们的设置中保持，使得强大的ER-MDP问题是易旧的。我们展示了我们的框架和结果如何集成到包括值或（修改）策略迭代的不同算法方案中，这将导致新的鲁棒RL和逆RL算法来处理不确定性。还提供了在传统的不确定性设置下计算复杂性和误差传播的分析。
translated by 谷歌翻译